Foveated imaging provides a better tradeoff between situational awareness (field of view) and resolution and is critical in long-wavelength infrared regimes because of the size, weight, power, and cost of thermal sensors. We demonstrate computational foveated imaging by exploiting the ability of a meta-optical frontend to discriminate between different polarization states and a computational backend to reconstruct the captured image/video. The frontend is a three-element optic: the first element which we call the "foveal" element is a metalens that focuses s-polarized light at a distance of $f_1$ without affecting the p-polarized light; the second element which we call the "perifoveal" element is another metalens that focuses p-polarized light at a distance of $f_2$ without affecting the s-polarized light. The third element is a freely rotating polarizer that dynamically changes the mixing ratios between the two polarization states. Both the foveal element (focal length = 150mm; diameter = 75mm), and the perifoveal element (focal length = 25mm; diameter = 25mm) were fabricated as polarization-sensitive, all-silicon, meta surfaces resulting in a large-aperture, 1:6 foveal expansion, thermal imaging capability. A computational backend then utilizes a deep image prior to separate the resultant multiplexed image or video into a foveated image consisting of a high-resolution center and a lower-resolution large field of view context. We build a first-of-its-kind prototype system and demonstrate 12 frames per second real-time, thermal, foveated image, and video capture in the wild.
translated by 谷歌翻译
Reflections on glossy objects contain valuable and hidden information about the surrounding environment. By converting these objects into cameras, we can unlock exciting applications, including imaging beyond the camera's field-of-view and from seemingly impossible vantage points, e.g. from reflections on the human eye. However, this task is challenging because reflections depend jointly on object geometry, material properties, the 3D environment, and the observer viewing direction. Our approach converts glossy objects with unknown geometry into radiance-field cameras to image the world from the object's perspective. Our key insight is to convert the object surface into a virtual sensor that captures cast reflections as a 2D projection of the 5D environment radiance field visible to the object. We show that recovering the environment radiance fields enables depth and radiance estimation from the object to its surroundings in addition to beyond field-of-view novel-view synthesis, i.e. rendering of novel views that are only directly-visible to the glossy object present in the scene, but not the observer. Moreover, using the radiance field we can image around occluders caused by close-by objects in the scene. Our method is trained end-to-end on multi-view images of the object and jointly estimates object geometry, diffuse radiance, and the 5D environment radiance field.
translated by 谷歌翻译
我们提出了一种依赖工程点扩散功能(PSF)的紧凑型快照单眼估计技术。微观超分辨率成像中使用的传统方法,例如双螺旋PSF(DHPSF),不适合比稀疏的一组点光源更复杂的场景。我们使用cram \'er-rao下限(CRLB)显示,将DHPSF的两个叶分开,从而捕获两个单独的图像导致深度精度的急剧增加。用于生成DHPSF的相掩码的独特属性是,将相掩码分为两个半部分,导致两个裂片的空间分离。我们利用该属性建立一个基于紧凑的极化光学设置,在该设置中,我们将两个正交线性极化器放在DHPSF相位掩码的每一半上,然后使用极化敏感的摄像机捕获所得图像。模拟和实验室原型的结果表明,与包括DHPSF和Tetrapod PSF在内的最新设计相比,我们的技术达到了高达50美元的深度误差,而空间分辨率几乎没有损失。
translated by 谷歌翻译
我们引入了一种新的神经信号模型,设计用于有效的大型信号的高分辨率表示。我们的多尺度隐式神经表示(矿工)中的关键创新是通过拉普拉斯金字塔的内部表示,它提供了信号的稀疏多尺度分解,可捕获跨尺度的信号的正交部分。我们通过用小型MLP在每个尺度上代表金字塔的小差异斑块来利用拉普拉斯金字塔的优势。这使网络能够适应从粗尺度到细尺度的能力增加,仅代表具有强信号能量的信号的一部分。每个MLP的参数是从粗到细节优化的,从而在更粗糙的尺度下更快地近似,从而最终是一个非常快速的训练过程。我们将矿工应用于一系列大规模信号表示任务,包括吉吉像素图像和非常大的点云,并证明它需要少于参数的25%,33%的内存足迹和10%的计算时间和10%竞争技术(例如橡子)达到相同的表示准确性。
translated by 谷歌翻译
The 1$^{\text{st}}$ Workshop on Maritime Computer Vision (MaCVi) 2023 focused on maritime computer vision for Unmanned Aerial Vehicles (UAV) and Unmanned Surface Vehicle (USV), and organized several subchallenges in this domain: (i) UAV-based Maritime Object Detection, (ii) UAV-based Maritime Object Tracking, (iii) USV-based Maritime Obstacle Segmentation and (iv) USV-based Maritime Obstacle Detection. The subchallenges were based on the SeaDronesSee and MODS benchmarks. This report summarizes the main findings of the individual subchallenges and introduces a new benchmark, called SeaDronesSee Object Detection v2, which extends the previous benchmark by including more classes and footage. We provide statistical and qualitative analyses, and assess trends in the best-performing methodologies of over 130 submissions. The methods are summarized in the appendix. The datasets, evaluation code and the leaderboard are publicly available at https://seadronessee.cs.uni-tuebingen.de/macvi.
translated by 谷歌翻译
本研究提出了一种新颖的趋势检测和可视化方法 - 更具体地说,随着时间的推移,主题的变化建模。如果当前用于识别和可视化趋势的模型仅传达基于用法随机计数的单一单词的普及,那么本研究中的方法说明了一个主题正在发展的普及和方向。在这种情况下,方向是选定语料库中的独特亚主题。通过使用K-均值聚类和余弦相似性对主题的移动进行建模来对这种趋势进行建模,以将簇之间的距离分组。在收敛的场景中,可以推断出整个主题是在网络上的(主题之间的令牌,可以互换)。相反,一个不同的场景暗示每个主题的各自的令牌在相同的上下文中都不会找到(彼此之间越来越不同)。该方法对20个新闻组数据集中存在的各种媒体房屋的一组文章进行了测试。
translated by 谷歌翻译
机器学习模型的培训和部署之间的分离意味着,在培训期间,并非所有部署中遇到的场景都可以预期,因此仅依靠培训的进步都有其限制。分布(OOD)检测是一个重要领域,强调模型处理看不见情况的能力:模型知道何时不知道吗?现有的OOD检测方法要么引起额外的训练步骤,其他数据或对训练的网络进行非平凡的修改。相比之下,在这项工作中,我们提出了一种非常简单的事后,即时激活塑形方法,灰分,其中大部分(例如90%)的样本激活在后层中被删除,然后删除休息(例如10%)简化或轻微调整。该塑形在推理时间应用,不需要根据培训数据计算出的任何统计数据。实验表明,这种简单的治疗可以增强分布和分布样本的区别,从而允许在ImageNet上进行最新的OOD检测,并且不会显着恶化分布的准确性。我们与论文一起释放了两个呼吁解释和验证的呼吁,他们相信集体权力进一步验证和理解这一发现。可以在:https://andrijazz.github.io/ash上找到电话,视频和代码
translated by 谷歌翻译
自然界中多元化的生态学在许多物种中具有各种形式的群体行为。蝴蝶物种是随机飞行的突出物种之一,有点有见地,并将其转化为人造隐喻将导致巨大的可能性。本文认为一种这种隐喻称为蝴蝶交配优化(BMO)。在BMO中,BFLE遵循巡逻的交配现象,并同时捕获了多模式函数的所有局部优势。为了模仿该算法,设计了一个移动机器人(BFlyBot),以满足BMO算法中BFLE的功能。此外,多Bflybot群的设计旨在像蝴蝶本质上的作用,并遵循该算法的规则。实时实验是在多动物领域的BMO算法上进行的,并将信号源视为光源。实验结果表明,BMO算法适用于检测多个信号源,其运动的变化显着,即静态和动态。在静态信号源的情况下,随着BFlybot的初始位置的不同,收敛性在时间和平稳性方面受到影响。而具有不同阶梯尺寸的实验会导致它们在机器人的执行时间和速度方面的变化。在这项工作中,在动态环境中进行了实验,在该环境中,信号源在操纵和非操作场景中的运动。 Bflybot群能够检测到单个和多信号源,在两个固定点之间在两个固定点之间进行线性移动,以圆形,向上和向下运动。评估BMO现象,各种正在进行的和前瞻性的作品,例如中海船舶检测,讨论了空中搜索应用和地震预测。
translated by 谷歌翻译
目的;这项研究的目的是通过将机器学习应用于多模式MRI特征,将神经胶质肿瘤分为II,III和IV类别,与体积分析相比。方法;我们回顾性地研究了57例在3T MRI上获取的T2加权,T2加权,Flair图像和ADC MAP的胶质瘤患者。使用ITK-SNAP开源工具的半小局分割,将肿瘤分割为增强和非增强部分,肿瘤坏死,囊肿和水肿。我们测量了总肿瘤量,增强的非肿瘤,水肿,坏死体积以及与总肿瘤量的比率。对培训载体机(SVM)分类器和人工神经网络(ANN)进行了标记的数据,旨在回答感兴趣的问题。通过ROC分析计算预测的特异性,灵敏度和AUC。使用Kruskall Wallis评估了组之间连续度量的差异,并进行了事后DUNN校正以进行多次比较。结果;当我们比较组之间的体积比时,IV级和II-III级神经胶质肿瘤之间的统计学显着差异。 IV级神经胶质肿瘤的水肿和肿瘤坏死比率高于II和III级。体积比分析无法成功区分II和III级肿瘤。但是,SVM和ANN以高达98%和96%的精度正确分类了每个组。结论;在临床环境中,可以将机器学习方法应用于MRI特征,以无创,更容易地对脑肿瘤进行分类。
translated by 谷歌翻译
在课堂学习学习中,预计该模型将在保持以前课程的知识的同时,不断地学习新课程。这里的挑战在于保留该模型在功能空间中有效代表先前类的能力,同时调整其代表传入的新类。我们提出了两个基于蒸馏的目标,用于类增量学习,以利用特征空间的结构来维持以前的课程的准确性,并使学习新课程。在我们的第一个目标(称为跨空间聚类(CSC))中,我们建议使用先前模型的特征空间结构来表征优化的方向,这些方向可以最大程度地保留类 - 特定类的所有实例应集体优化,对,以及他们应该集体优化的人。除了最大程度地减少忘记之外,这种间接的鼓励模型将所有类的实例聚集在当前功能空间中,并引起牛群免疫的感觉,从而使班级的所有样本都可以将模型共同与遗忘班级共同打击模型。我们的第二个目标被称为受控转移(CT)从研究班间转移的研究的逐步学习。 CT明确近似于和条件,当前模型在逐步到达类和先验类之间的语义相似性上。这使模型可以学习类,以使其从相似的先前类中最大化正向转移,从而提高可塑性,并最大程度地减少不同先验类别的负向后转移,从而增强稳定性。我们在两个基准数据集上执行了广泛的实验,并在三种突出的课堂学习方法的顶部添加了我们的方法(CSCCT)。我们观察到各种实验环境的性能一致。
translated by 谷歌翻译